Kafka问题总结

consumer提交offset失败

使用spring-kafka, 配置auto.commit =true 会使用kafka.client的 自动提交机制(5秒钟提交一次-具体细节TODO).

然而一定时间取出的消息没有处理完,长时间没能提交成功???

现象: offset没有提交成功, consumer的协调者处于dead状态, 恢复后但还能正常消费,但offset一直未能提交.

Socket一个线程导致消费挂起

现象: Socket一直处于read状态,导致往队列push消息失败,取出来的消息也没有处理, 没有提交offset.

可能1. socket read timeout 设置后, 其他线程就处于 Timewait 状态,但是 实际设置connect 超时时间在 socket 超时时间之后, 所以没有超时时间相当于.